受微分方程式启发的深度学习是最近的研究趋势，它标志着许多机器学习任务的最先进的表现。其中，具有神经控制的微分方程（NCDE）的时间序列建模被认为是突破。在许多情况下，基于NCDE的模型不仅比复发性神经网络（RNN）提供了更好的准确性，而且还可以处理不规则的时间序列。在这项工作中，我们通过重新设计其核心部分，即从离散的时间序列输入产生连续路径来增强NCDES。 NCDE通常使用插值算法将离散的时间序列样本转换为连续路径。但是，我们向i）提出建议，使用编码器解码器体系结构生成另一个潜在的连续路径，该架构对应于NCDE的插值过程，即我们的基于神经网络的插值与现有的显式插值相对于现有的显式插值以及II）解码器的外推超出了原始数据的时域的外推。因此，我们的NCDE设计可以同时使用插值和外推信息进行下游机器学习任务。在我们使用5个现实世界数据集和12个基线的实验中，我们的外推和基于插值的NCDES超过了非平凡的边缘的现有基线。
translated by 谷歌翻译
在过去的几年里，通过微分方程激发的神经网络已经增殖。神经常规方程（节点）和神经控制微分方程（NCDE）是它们的两个代表性示例。理论上，NCDES提供比节点的时间序列数据更好的表示学习能力。特别地，已知NCDE适用于处理不规则的时间序列数据。然而，在采用关注之后，节点已成功扩展，但是尚未研究如何将注意力集成到NCDE中。为此，我们介绍了用于时间序列分类和预测的周度神经控制微分方程（ANCDES）的方法，其中使用了双nCDE：一个用于生成注意值，另一个用于改进下游机器学习任务的隐藏向量。我们用三个真实世界时间序列数据集和10个基线进行实验。丢弃一些值后，我们还进行不规则的时间序列实验。我们的方法一致地显示所有案例中的最佳准确性。我们的可视化还表明，通过专注于关键信息，所提出的注意机制如预期的工作。
translated by 谷歌翻译
已经提出了各种模型来执行对象检测。但是，大多数人都需要许多手工设计的组件，例如锚和非最大抑制（NMS），以表现出良好的性能。为了减轻这些问题，建议了基于变压器的DETR及其变体可变形DETR。这些解决了为对象检测模型设计头部时的许多复杂问题。但是，当将基于变压器的模型视为其他模型的对象检测中的最新方法时，仍然存在对性能的疑问，这取决于锚定和NMS，揭示了更好的结果。此外，目前尚不清楚是否可以仅与注意模块结合使用端到端管道，因为Detr适应的变压器方法使用卷积神经网络（CNN）作为骨干身体。在这项研究中，我们建议将几个注意力模块与我们的新任务特异性分裂变压器（TSST）相结合是一种有力的方法，可以在没有传统手工设计的组件的情况下生成可可结果上最先进的性能。通过将通用注意模块分为两个分开的目标注意模块，该方法允许设计简单的对象检测模型。对可可基准的广泛实验证明了我们方法的有效性。代码可在https://github.com/navervision/tsst上获得
translated by 谷歌翻译
集合学习的优点在于在单个输入上的许多单个模型中具有不同的输出，即基础模型的多样性。当每个模型专门用于整个数据集的不同子集时，可以实现高质量的多样性。此外，当每个模型明确了解它专门的子集时，有更多的机会来提高多样性。在本文中，我们提出了一种先进的集合方法，称为基于辅助类的多项选择学习（AMCL），最终在多项选择学习（MCL）的框架下专注于每个模型。 AMCL的进步来自三种新颖的技术，控制来自不同方向的框架：1）辅助类的概念通过标签提供更明显的信息，2）策略，名称基于内存的分配，以确定关联之间的关联输入和模型，以及3）特征融合模块实现广义特征。为了展示与MCL方法的所有变体相比我们方法的性能，我们对图像分类和分割任务进行了广泛的实验。总体而言，AMCL的性能超过所有其他公共数据集中的所有其他公共数据集的所有其他人都作为合奏的成员培训。
translated by 谷歌翻译